Player-1: Learning to Play from Synthetic Experience
Player-1：通过合成经验学习游戏控制的后训练框架
🧭 游戏智能体 · 合成经验强化学习
National University of Singapore · ARC Lab, Tencent IEG · Nanyang Technological University
Player-1利用合成环境和PPO强化学习，将游戏智能体MineDojo-300成功率提升至38.33%，远超SFT基线
📌 工作参考价值（4 点）
- 合成环境+程序化奖励训练Agent决策：可借鉴到电商搜索/推荐Agent的离线策略优化，构建模拟用户交互（点击、浏览、反馈）的合成环境，避免线上试错成本，用PPO在多样化模拟器中提升Agent多步决策能力。
- 复合动作空间扩展：论文中同时组合键盘+鼠标的复合动作在RL中使用频率增加，类比到对话式推荐或搜索Agent，可建模同时生成query+点击筛选等复合操作，更贴近真实用户行为，值得在动作空间设计上尝试。
- SFT初始化+多环境PPO两阶段范式：先用人类演示数据SFT，再在多个随机化合成环境中用PPO探索优化，这比单纯SFT能获得超越模仿的策略，适用于电商客服Agent、自动谈判Agent等需要长期回报优化的场景。
- 环境随机化提升迁移泛化：通过对观察和动力学进行随机化，覆盖更广状态空间，可应用于构建电商搜索模拟器时加入用户偏好扰动、延迟响应等噪声，提高策略鲁棒性。